Lim mengahwini Chia Kim Neo pada tahun 1937. Mereka dikurniakan seorang anak lelaki dan tiga anak perempuan.[1] Setelah After melalui kehilangannya pada tahun 1966 dan peletakan jawatannya daripada Kerajaan Malaysia pada tahun 1968, perkahwinan Lim dengan Chia berpecah belah.[1] Apabila beliau memeluk agama Islam dan tinggal di Arab Saudi pada saki-baki hidupnya, beliau berkahwin semula dengan orang Cina Hajjah Hasnah Abdullah, pemeluk Islam juga. Kedua-duanya dikurniakan seorang anak perempuan dengan nama Hayati.[1]